TSBPO: Tree-Structured Branching for Policy Optimization in Interactive Language Agents
树结构分支策略优化 TSBPO：交互式语言智能体训练
🧭 交互式语言智能体策略优化
University of Electronic Science and Technology of China
TSBPO 用树结构采样与更新统一解决交互式语言智能体训练的采样、延迟信用分配和多 token 损失聚合
📌 工作参考价值（4 点）
- 将 rollout 构建为物理树，并用 likelihood-fitted Root/Branch allocator 在固定预算下优先展开高风险分支：这个思路可迁移到电商导购 Agent 的模拟训练，减少无效交互采样，把探索预算集中在信息增益大的状态。
- 信用分配不用全局奖励做蒙特卡洛，而是比较同父兄弟片段和同任务/观测状态的相对优势：适合多轮推荐对话中延迟转化信号，能被归因到具体话术或动作轮次，减少奖励噪声。
- 多 token 动作聚合采用完整 response 内 token surrogate 求和并按 active turns 归一化，避免直接按 response 长度平均导致的梯度消失：生成式推荐中的商品标题/文案策略梯度可直接复用这一项。
- 固定 checkpoint + 多次随机 episode 取平均成功率作为评估，比单次最优模型更可靠，适合上线前回归评测 Agent 稳定性。